Cloud Native AI - CNAI

개요

Cloud Native AI: CNAI

발표

ai의 활용이 커지는 중
mlops
클라우드 네이티브 환경에서도
그리고 쿠버네티스는 현재 기술 표준이다.

CNAI
ai 관련 리소스를 활용하느 클러스터 환경
ai 모델링에 잇어 프로토타입을 만들고 빠르게 훈련시키는 것이 중요함
그런 것을 유연하게 구성할 수 잇음

openai, huggin face 역시 클라우드 환경에서 서비스를 앱을 구동.
또 종속성이 중요하 ㄴ이슈인데, 이럴 때 컨테이너는 유용하다.

도전과제

소맂깋 내용을 잘 모르겠다

클러스터 환경에서 ml 라이프사이클을 할 수 있는가?
아직 100ㅍ센트는 아니다.

데이터 관리

데이터 크기, 동기화 거버넌스.
어떻게 처리할 수 있는가?
데이터에는 많은 편향이 존재한다.
llm은 이런 것에서 자유롭지 못하다.
이런 과제

요구 처리와 효율

비용, 확작성, 워크플로우가 종속성이 있을 다양한 요구가 발생한다.
상충되는 종속성이 발생하면 어떻게 처리할까?
컨테이너를 활용하면 도움될 수도

아키텍쳐 복잡성

운영 허들

파이프라인 복잡성.
개발자들의 학습 곡선 등이 장애가 된다.

통합된 시스템 관리

비용 최적화, 모니터링, 고가용성 등 다양한 요소를 통합적으로 관리할 방법이 필요함
그냥 아직 스탠다드가 없다는 말과 같은 듯

솔루션

참고